Tư liệu đầu tiên nói về Khất Phục Càn Quy trong lịch sử là trong năm 385, khi anh trai Khất Phục Quốc Nhân của ông xưng làm Thiền vu và cải niên hiệu, do đó đã trở nên độc lập với Tiền Tần. Vào thời điểm đó, Khất Phục Quốc Nhân phong cho Khất Phục Càn Quy làm một đại tướng quân. Sử sách không chép lại gì khác về cuộc đời của ông trước hoặc trong thời gian trị vì của Khất Phục Càn Quy, ngoại trừ một ám chỉ rằng ông đã đánh bại tướng Vương Quảng (王廣) của Tiền Tần trên chiến trường.

Năm 388, Khất Phục Quốc Nhân qua đời. Con trai của ông ta là Khất Phục Công Phủ khi ấy được coi là còn quá nhỏ tuổi để tiếp nhận vị trí lãnh đạo, vì vậy các quan lại và tướng lĩnh đã ủng hộ Khất Phục Càn Quy kế vị Khất Phục Quốc Nhân, với tước hiệu Đại Thiền vu và Hà Nam vương. Tước hiệu Hà Nam vương không biểu thị rằng ông thống trị khu vực tỉnh Hà Nam ngày nay, mà đúng hơn là đã biểu thị quyền thống trị tại các phần ở phía nam Hoàng Hà thuộc hai tỉnh Cam Túc và Thanh Hải hiện nay.